iT邦幫忙

machine learning相關文章
共有 752 則文章
鐵人賽 AI & Data DAY 9

技術 【DAY9】監督式學習:用 Python 實作邏輯迴歸----資料前處理與特徵工程

前言昨天我們完成了資料的下載、讀取、初步檢視以及簡單視覺化,對資料集的結構、特徵分布和目標類別已有基本認識。今天,我們要在此基礎上,進行資料前處理(Data P...

鐵人賽 AI & Data DAY 8

技術 【DAY8】監督式學習:用 Python 實作邏輯迴歸----資料下載與初步測試

前言昨天完成了開發環境建置,今天我們要開始準備邏輯迴歸的資料。首先從網路下載範例資料檔案,然後導入 Jupyter Notebook,進行初步檢視與簡單視覺化(...

鐵人賽 AI & Data DAY 7

技術 【DAY7】監督式學習:用 Python 實作邏輯迴歸----開發環境建置

前言昨天我們學到了邏輯迴歸的數學基礎,今天要開始準備實作環境。我們會透過 Anaconda 建立虛擬環境,並使用 Jupyter Notebook 作為開發工具...

鐵人賽 AI & Data DAY 6

技術 【DAY6】監督式學習:邏輯迴歸 (Logistic Regression)

前言昨天我們介紹了分類任務,今天要從數學和統計的角度認識一個經典的分類演算法——邏輯迴歸 (Logistic Regression)。為了理解它,先要知道它的前...

鐵人賽 AI & Data DAY 5

技術 【DAY5】監督式學習:分類任務的類型

前言昨天我們談到監督式學習的兩大任務:分類(Classification)與迴歸(Regression)。其中分類任務在生活中最常見,也最容易理解。那麼,分類任...

鐵人賽 AI & Data DAY 4

技術 【DAY4】監督式學習:核心概念與流程整理

前言 昨天我們快速比較了 AI、ML、DL 的差異,並提到 ML 的一大類型是 監督式學習 (Supervised Learning)。那麼,監督式學習究竟是怎...

鐵人賽 AI & Data DAY 3

技術 【DAY3】什麼是 AI、機器學習 (ML)、深度學習 (DL)?快速掌握三者差異

前言昨天我們提到,AI 需要透過資料來學習與訓練。那麼,資料是如何一步步變成可以做出判斷的 AI 模型呢?其實,AI 的核心是各種算法 (Algorithm),...

鐵人賽 AI & Data DAY 2

技術 【DAY2】AI與Data的關係?

前言昨天我們分別介紹了 AI 與 Data 的基本概念。今天,我們要更進一步,探討兩者之間的關係,說明為什麼資料是 AI 的基礎,以及 AI 如何透過資料發揮價...

鐵人賽 AI & Data DAY 1

技術 【DAY1】AI &Data 是什麼?

前言AI是近年來引起大家熱烈討論的議題,無論是工作還是生活,我們越來越常看到AI的應用。其中AI與Data有著密不可分的關係,掌握AI與Data相關知識,可以提...

技術 部署Google Cloud的機器學習流水線

關於GCP 機器學習(後面會簡稱ML)的pipeline部署分為好幾個階段。從data ingestion/preparation再到根據訓練出來的模型來做da...

鐵人賽 AI/ ML & Data

技術 從「這次不會壞吧」到自動化的未來:22 為什麼需要資料管理工具?DagsHub 與 DVC 怎麼選?

為什麼需要資料管理工具 隨著開發過程持續推進,通常會產生大量版本的程式碼,並需要使用版本控制工具追蹤這些程式碼,以利後續維護。除了程式碼,訓練資料也需要進行版本...

鐵人賽 AI/ ML & Data

技術 從「這次不會壞吧」到自動化的未來:21 CNN 模型訓練 MLDM + MLDE

今天我們會使用 MLDM + MLDE 來進行貓狗圖片分類的卷積神經網路(Convolutional Neural Network,CNN)模型訓練,並進行以下...

鐵人賽 AI/ ML & Data

技術 從「這次不會壞吧」到自動化的未來:20 從前處理到模型訓練,都在版控環境中?

過去在 DL 模型的開發過程中,要追蹤大量的資料和實驗結果可能需要結合多項工具,形成較高的學習成本;針對這些問題,HPE 推出 MLDM、MLDE 作為解決方案...

鐵人賽 AI/ ML & Data

技術 從「這次不會壞吧」到自動化的未來:19 所以模型版本控制工具怎麼選?

這幾天的文章主要分享三個頗受好評的模型實驗管理工具,市面上還有很多類似的工具,這些工具各有特色與強項,團隊可視情況選擇好維護的工具。 這些工具的目的都是在幫助團...

鐵人賽 AI/ ML & Data

技術 從「這次不會壞吧」到自動化的未來:18 模型版本控制 - MLflow

相較於 Tensorboard 與 Weight&Biases,MLflow 更著重於「公司內部的多人專案」的實驗管理上,主要讓工程師自己建立屬於公司內...

鐵人賽 AI/ ML & Data

技術 從「這次不會壞吧」到自動化的未來:17 模型版本控制 - Weight&Biases

大致功能與 Tensorboard 相同,但是整合了更多的深度學習(Llamaindex、Langchain、HuggingFace…)與機器學習(Sciki...

鐵人賽 AI/ ML & Data

技術 從「這次不會壞吧」到自動化的未來:16 模型版本控制 - Tensorboard

Tensorboard 算是深度學習早期最著名的實驗管理工具,至今依然十分熱門,它主打幾個功能: 視覺化的方式呈現模型訓練的Loss曲線和評估指標 視覺化的方...

鐵人賽 AI/ ML & Data

技術 從「這次不會壞吧」到自動化的未來:15 建模前,要思考的事

我們知道在做模型建立、模型驗證的時候需要思考以下幾個問題: 多人協作如何紀錄分析每位協作者的實驗紀錄,如何從眾多的實驗紀錄中快速比較出預測效果最好的模型? 當...

鐵人賽 AI/ ML & Data

技術 從「這次不會壞吧」到自動化的未來:13 以 HPE MLDM 實作 MLOps 資料版本控制 - 1

今天的文章將接續昨天的內容,說明具體來說,如何透過 HPE MLDM 讓資料前處理工作自動化,以及使用內建的版控功能,管理大量資料與前處理程式。 實作 接著我們...

鐵人賽 AI/ ML & Data

技術 從「這次不會壞吧」到自動化的未來:12 為什麼我們需要資料版本控制?

為什麼我們需要資料版本控制? 在開發過程中,隨著時間的推移,團隊常常因為模型效能或其他考量,不斷更新訓練資料,最後累積出大量版本。想像一個情境:在增加一些訓練資...

鐵人賽 Python DAY 30
Python 錦囊密技 系列 第 30

技術 【Python錦囊㊙️技30】程式設計師要懂數學與統計嗎?

最近看到一些文章討論【Math. for programmers】,談到程式設計師要具備的數學素養,尤其是AI盛行後,許多數學與統計學科開始影響我們,例如下圖:...

鐵人賽 Python DAY 16

技術 [Day15] Python專案實踐周,學習心態的內外武功!? 跟學習目標(六大應用場景)

前言 hi~各位恭喜脫離了痛苦的前兩周 相信跟者學習的你,一定也有所收穫今天我會選標題這六大主題(excel處理、爬蟲、Powerbi整合、網頁應用程式、自動化...

鐵人賽 AI/ ML & Data DAY 10

技術 從「這次不會壞吧」到自動化的未來:11 為什麼我們需要資料版本控制?

在開發過程中,隨著時間的推移,團隊常常因為模型效能或其他考量,不斷更新訓練資料,最後累積出大量版本。想像一個情境:在增加一些訓練資料後,模型就訓練不起來了,這時...

鐵人賽 AI/ ML & Data DAY 10

技術 從「這次不會壞吧」到自動化的未來:10 MLOps 系統功能設計 - 部署篇

部署時會用到的功能設計 部署時的功能主要就是要將模型推論的功能建立成 API 讓使用者或其他服務可以調用,這個部分與一般的 API 開發基本相同,開發團隊可以使...

鐵人賽 AI/ ML & Data DAY 9

技術 從「這次不會壞吧」到自動化的未來:09 MLOps 系統功能設計 - 自動化篇

自動化時會用到的功能設計 在完成一個模型後,也可以選擇是否要加入自動化利用新資料定期更新的功能,如果當前的專案還不需要這項功能,想要直接將模型部署上線,那麼就可...

鐵人賽 AI/ ML & Data DAY 8

技術 從「這次不會壞吧」到自動化的未來:08 MLOps 系統功能設計 - 開發篇

在昨天的文章中,描述了機器學習開發專案的流程,大致可分成三個部分: 從資料處理到模型驗證的「開發」 將開發模型訓練做排程處理的「自動化」 將模型上線使用的「部...

鐵人賽 AI/ ML & Data DAY 7

技術 從「這次不會壞吧」到自動化的未來:07 套件的選擇

其實,選擇套件並不是一件困難的事,無非就是根據需求、經費等因素考量後,按圖索驥選出適合團隊的工具而已。以下將簡單列舉挑選特定套件的原因,讀者可以根據團隊需求自由...

鐵人賽 AI/ ML & Data DAY 6

技術 從「這次不會壞吧」到自動化的未來:06 MLOps 系統的基本功能需求

在設計 MLOps 系統時,主要會以開發團隊目前的機器學習專案開發流程為基礎,並以此設計系統。下圖是一般常見的模型開發流程,可以看到在取得原始資料後,會先做不同...